Recentemente, uma equipe de pesquisa da Universidade de Illinois Urbana-Champaign, Sony AI e Sony Corporation lançou uma nova tecnologia chamada MMAudio, projetada para gerar áudio de alta qualidade a partir de vídeo por meio de treinamento multi-modal conjunto. A inovação central do MMAudio é sua capacidade de usar entradas de vídeo e texto para gerar áudio sincronizado, expandindo os casos de uso da geração de áudio e permitindo a entrada de vídeo ou texto para gerar efeitos sonoros que correspondem ao conteúdo do vídeo. O design do MMAudio permite que...

Recentemente, a Universidade Johns Hopkins e o laboratório de IA da Tencent lançaram um novo modelo de geração de áudio a partir de texto chamado EzAudio. Essa tecnologia promete converter texto em fala com eficiência e qualidade sem precedentes, representando um grande avanço na inteligência artificial e na tecnologia de áudio. O EzAudio funciona utilizando o espaço latente das formas de onda de áudio, em vez dos tradicionais espectro gramas, uma inovação que permite que ele trabalhe com alta resolução temporal sem a necessidade de um codificador de voz neural adicional. A arquitetura do EzAudio é chamada de EzAu

O ElevenLabs lançou o Voice Isolator, que remove ruídos de fundo, extraindo diálogos nítidos e proporcionando uma experiência de áudio de alta qualidade.